Pretraining Recurrent Networks without Recurrence
无需递归的递归网络预训练方法 SMT
🧭 RNN 预训练 · 长程依赖优化
MIT
SMT 将 RNN 训练转化为有监督记忆转移学习，实现时间并行且梯度路径 O(1) 稳定训练长程依赖
📌 工作参考价值（4 点）
- 电商用户行为序列（点击、购买）建模可用 SMT 稳定训练长序列 RNN，缓解梯度问题，捕获更长期的兴趣演化。
- SMT 的时间并行训练特性可大幅加速大规模用户序列的 RNN 预训练，适合百万级序列场景。
- 解耦“记忆内容”与“更新规则”的设计可借鉴为记忆网络优化：使用一个独立模块（如 Transformer）预先压缩历史为预测性状态，再教 RNN 逐步更新。
- 若业务中已有 Transformer 模型，可将 SMT 视为一种离线知识蒸馏方案，将 Transformer 的长程能力注入 RNN 以提升在线推理效率。